Het kasteel van Moorsele werd in de eerste helft van de 15de eeuw heropgebouwd op de resten van een ouder kasteel, een vermoedelijk eerder bescheiden woning van de heren van Moorsele en Moorslede, in opdracht van Geldolf I van der Gracht, kamerheer en raadsheer van Filips de Goede. De vierkante toren van het huidige kasteel dateert nog uit die periode.
Tijdens de 16de eeuw werd het kasteel getroffen door een brand. Aan het einde van de 18de eeuw werd het kasteel nog eens grondig gerenoveerd. De huidige woonvleugel dateert uit 1779, net voor de Franse revolutie. Tijdens de Eerste Wereldoorlog werd het kasteel bezet door Duitse troepen, en in de Tweede Wereldoorlog raakte het zwaar beschadigd.
In 1966 krijgt het kasteel zijn huidig uitzicht na een grondige restauratie, uitgevoerd onder leiding van architect Luc Viérin. De woontoren bevat een klokkenspel dat meerdere keren per dag van zich laat horen. In 2005 werd het kasteel, met inbegrip van de bakstenen brug geflankeerd door twee venijnbomen, het koetshuis, en de omwalling, beschermd als monument.